How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review
修辞如何奖励攻击 AI 评审？解剖 LLM 评审的修辞敏感性
🧭 LLM 评估 · 修辞敏感性
University of Maryland · Virginia Tech · MBZUAI · University of Waterloo
揭示 LLM 评审对修辞的敏感性呈结构化层级，证据框架与新颖性立场影响最大，重写者决定变异分离而评审者决定分数效应
📌 工作参考价值（4 点）
- 若业务中用 LLM 做内容质量打分、创意评审或排序（如广告文案、商品描述、评论审核），需警惕修辞偏差：证据呈现方式、新颖性措辞可能显著影响评分。可仿照论文构建内容不变但修辞正反变换的对照集，对 LLM 评估器做敏感性审计。
- 评估鲁棒性工程：在 prompt 中加入严格评分协议只能降低平均分，不一定降低修辞敏感性；建议增加校准步骤、集成多个评审模型或对中间分数段样本做额外人工复核。
- 论文发现低分样本趋升、高分样本趋降，中间分数段修辞对比最清晰。在排序/评估流水线中，可重点监控中间档位的样本，对修辞敏感的特征做正则化或去偏。
- 如果业务流程涉及“LLM 改写 + LLM 评估”的闭环，注意改写模型主要决定变体之间的分离度，评估模型决定分数波动的幅度和符号；优化时应分开诊断，而不是笼统调整整体流程。